\documentclass[hyperref,UTF8]{article}
\usepackage[colorlinks,linkcolor=blue,anchorcolor=yellow,citecolor=blue,urlcolor=blue]{hyperref}% set hyber link color as 'blue'
\usepackage{geometry}% adjust pdf page geometry
\usepackage{xcolor}% package to get color
\usepackage{graphicx}% package to insert figures
\usepackage{listings}% insert source codes using list
\usepackage{indentfirst}% zoom out at paragraph's fisrt line
\usepackage{float}% figure float effect
\usepackage{fancyhdr}% set the page upper and lower line style
\usepackage{amsmath}% insert Math functions 
\usepackage{caption} % caption for figures, auto number fig
\usepackage{CTEX}
\usepackage{enumerate}


\numberwithin{equation}{section} % number the equations according to section
\lstset{breaklines}
\lstset{extendedchars=false}%solve cross line equations
\geometry{b5paper,scale=0.85,centering} 
\pagestyle{fancy}
\setlength{\parindent}{2em} %zoom in at the start line
\title{\textit{Hadoop MapReduce for Mobile Clouds} 读书笔记}
\author{谢正雄}
\date{\today}




\begin{document}\large %\Huge\huge\LARGE\Large\large\normalsize(default)\small\footnotesize\scriptsize\tiny 
	\maketitle{\Large}
	\thispagestyle{empty} % hide the page number of first title page
	\tableofcontents % generate content index
	
	
	\section{背景介绍}
		
		\subparagraph{时代背景}
		随着技术更迭，移动设备逐渐拥有高性能的处理单元以及较高的存储容量。这让以前只能运行在传统高性能服务器的大数据处理应用在移动设备有了应用前景。也就是说，移动设备性能的增强让人们意识到，其或许可以承担一些对算力的需求，原文\cite{cite1}作者便致力于将著名的大数据处理框架Hadoop移植到移动网络平台，旨在充分调动移动设备的算力，且合理地调度设备之间的关系，显然这并不容易。
		
		\subparagraph{传统移动设备的大数据处理}
		传统移动设备几乎无法进行大数据处理，只能将这个任务交给网络远程服务器，得到结果后通过网络传输回来。这显然是低效的，因为太过于依赖网络连接，不适用于高隐私度的应用场景，也不适用于需要即时相应的情况。随着移动设备性能的提高，组建并行处理网络使得处理大数据成为可能，人们可能需要一种适合在这种情况运行的模型。
		
		\subparagraph{Hadoop介绍}
		Hadoop的核心是两个组件，MapReduce和HDFS。MapReduce是Hadoop的思想核心，把任务分成几个较小的单元，每个单元并行处理各自的任务，最后把结果统筹起来；HDFS是Hadoop的物理组织形式，拥有成熟的负载均衡机制，以及副本恢复机制。但这于移动网络是不适合的，HDFS没有考虑到节点的能效调度，以及移动网络数据的不可靠性。必须用新的模型解决这些问题
		\begin{figure}[htbp]
			\centering
			\includegraphics{hdfs.png}
			\caption{HDFS 框架}
		\end{figure} 
		
	
	 
	
	\section{方法介绍}
		\subparagraph{能耗调度}
		能耗调度的核心思想是减少数据传输，尽量把数据处理交给当前节点，因为数据传输会增加功耗，特别是在移动设备网络中，设备之间通过网络发送数据，高流量情景会早成更大的能耗
		\subparagraph{容错机制}
		类似hadoop的k-out-of-n模型和快照机制可以减少系统崩溃的可能性。数据块的复制存储，只需要k个节点没有损坏就不会危害到整个系统； 快照是文件系一个时间点的只读的副本。快照可以是部分文件系统，或者整个文件系统。服务器会在正常关机后自动保存快照，重启后使用快照恢复系统
		
		\subparagraph{数据一致性}
		单写多读型的文件操作，写文件(创造模式和添加模式)时，主Server会给文件加写锁，同时写文件的客户端会周期性的发送信息以更新锁的状态，同时服务器在没有收到信息一段时间后会自动释放锁；读文件时，可以多个客户端请求锁，但如果文件被写操作，更新的内容会在写操作完成后迅速更新。
	
	\section{思想感悟}
		\subparagraph{优点}
		论文的思考方向非常有意思且非常有意义，随着时代发展，移动设备的处理能力也是有了飞跃的发展，但很多时候这种能力没有好好被利用起来，大数据处理或许就是利用这些算力的一个方向；文章给定的模型很好的继承了原模型Hadoop DFS的一些优点，比如合理的一致性模型，数据冗余副本，快照机制，同时为了移动设备的功耗调度设计了新的处理模型
		
	
		\subparagraph{缺点}
		类似HDFS的缺点，不支持对文件的随机写；不支持并发写入，同一个文件在同一时刻只能由一个客户端写入，不允许多个线程同时写，这虽然是为了安全考虑，但是也牺牲了一定性能；不适合低延时数据访问，延迟大可能是很难避免的一个问题，一旦需要数据传输，网络状态便成了模型的掣肘
	
	
	
	
	\begin{thebibliography}{l}
		
		\bibitem{cite1}{J. George, C. Chen, R. Stoleru and G. G. Xie, "Hadoop MapReduce for Mobile Clouds," in IEEE Transactions on Cloud Computing, vol. 7, no. 1, pp. 224-236, 1 Jan.-March 2019, doi: 10.1109/TCC.2016.2603474.}
	\end{thebibliography}
\end{document}
